【机器翻译】SliceNet

架构

#

本文提出了一种新的卷积seq2seq结构（SliceNet）。模型采取了堆叠深度可分离卷积层以及残差连接的方法

• 分组卷积（grouped convolutions or “sub-separable convolutions”)
• 超可分卷积（super-separable convolutions）
• 过滤膨胀（filter dilation）与更大的卷积窗之间的权衡之后选择不使用filter dilation方法，通过卷积的分离操作，取得了更佳效果。

可分离卷积与分组卷积

超可分卷积

过滤膨胀和卷积窗大小权衡

code

• tensor2tensor

扩展阅读

• Depthwise Separable Convolutions for Neural Machine Translation